The Burbea-Rao and Bhattacharyya centroids

We study the centroid with respect to the class of information-theoretic Burbea-Rao divergences that generalize the celebrated Jensen-Shannon divergence by measuring the non-negative Jensen difference induced by a strictly convex and differentiable function. Although those Burbea-Rao divergences are symmetric by construction, they are not metric since they fail to satisfy the triangle inequality. We first explain how a particular symmetrization of Bregman divergences called Jensen-Bregman distances yields exactly those Burbea-Rao divergences. We then proceed by defining skew Burbea-Rao divergences, and show that skew Burbea-Rao divergences amount in limit cases to compute Bregman divergences. We then prove that Burbea-Rao centroids are unique, and can be arbitrarily finely approximated by a generic iterative concave-convex optimization algorithm with guaranteed convergence property. In the second part of the paper, we consider the Bhattacharyya distance that is commonly used to measure overlapping degree of probability distributions. We show that Bhattacharyya distances on members of the same statistical exponential family amount to calculate a Burbea-Rao divergence in disguise. Thus we get an efficient algorithm for computing the Bhattacharyya centroid of a set of parametric distributions belonging to the same exponential families, improving over former specialized methods found in the literature that were limited to univariate or "diagonal" multivariate Gaussians. To illustrate the performance of our Bhattacharyya/Burbea-Rao centroid algorithm, we present experimental performance results for $k$-means and hierarchical clustering methods of Gaussian mixture models.Comment: 13 page

Un cadre statistique en traitement d'images et vidéos par approche variationnelle avec modélisation haute dimension

This thesis addresses variational formulation of image and video processing problems. This formulation expresses the solution through a minimization of an energy. These energies can be defined as deterministic or stochastic. It is known that the first approach corresponds to the parametric class of the second one. The second class is then chosen as it is more general when relaxing parametric assumptions. In return, the energy must be expressed as a function of the data considered as random variables. These probabilities are classically estimated with fixed-sized kernels on marginal distributions of the data, assuming the different channels are independent. These methods have two limitations, the inhomogeneous and scarce repartition of the data in the space. These difficulties, as well as the independence assumption are enhanced when the data of the image are high dimensional (color channels, or other channels describing local patterns of natural images). At the foundation of the statistics, the k-th nearest neighbor method can solve these difficulties by locally adapting to the repartition of the data and treating the channels jointly. We propose a general statistical framework based on k-th nearest neighbors and information theory. This new framework is dedicated to variational problems as it efficiently estimates, high dimensional energies, derivates of these energies and local probabilities. This framework is applied to three problems of image and video processing: optical flow, object tracking and segmentation. This framework circumvents the problem of dimensionality and allows us to introduce new measures and probabilities more adapted to natural images. Some results obtained have been applied in an industrial context.Cette thèse aborde le traitement d'images et de vidéos sous l'angle variationnel, c'est-à-dire sous forme d'une énergie dont le minimum est atteint pour la solution. La modélisation adoptée pour formaliser le problème et obtenir ces énergies peut être déterministe ou stochastique. Il est connu que la première approche est équivalente à la classe paramétrique de la seconde. Ce constat nous a amené à faire le choix de la seconde approche a priori plus générale si l'on se débarrasse de l'hypothèse paramétrique. En contrepartie, il s'agit d'être capable d'exprimer et d'estimer une énergie en fonction des données alors interprétées comme des échantillons d'une variable aléatoire. Ce premier obstacle est classiquement surmonté par l'emploi de méthodes à noyau fixe sur des lois marginales, autrement dit, en supposant les canaux de données indépendants entre eux. Or cet obstacle en cache deux autres : l'inhomogénéité de la répartition des échantillons dans leur espace d'appartenance et leur faible densité dans cet espace. Ces difficultés, ainsi que l'hypothèse d'indépendance mentionnée plus haut, sont d'autant plus pénalisantes que le modèle proposé pour les données est de grande dimension (canaux couleur, mais aussi ajouts d'autres canaux pour prendre en compte les structures locales des images). Au fondement d'estimateurs de mesures statistiques telle que l'entropie, l'idée du kième plus proche voisin permet de résoudre les difficultés évoquées en s'adaptant à la densité locale des données, en considérant les canaux conjointement, et ce quelle que soit leur nombre. Dans ce contexte, nous proposons une approche statistique générale inspirée de la théorie de l'information, dédiée aux approches variationnelles car estimant efficacement des énergies en haute dimension, permettant le calcul de leur dérivée et pouvant estimer localement des probabilités. Ce cadre est appliqué aux trois problèmes de traitement d'images ou de vidéos que sont l'estimation de flot optique, le suivi d'objets vidéos et la segmentation. Ce point de vue, en permettant de limiter sinon de s'affranchir du problème de la dimension des données, autorise la définition de nouvelles mesures et lois de probabilités plus adaptées aux images naturelles. Certains travaux en suivi d'objets et en segmentation ont conduit à des implémentations industrielles

EARTH MOVER DISTANCE ON SUPERPIXELS

Earth Mover Distance (EMD) is a popular distance to compute distances between Probability Density Functions (PDFs). It has been successfully applied in a wide selection of problems of image processing. This success comes from two reasons, a physical one, since it computes a physical cost to transport an element of mass between two images or two histograms, and a statistical one, since it is a cross-bin metric (as opposed to a bin-wise metric). In computer vision, these features are useful since small variation of illuminance can shift the histogram. However, histograms are not a sufficient statistic to discriminate images since they ignore all geometric correlations. In addition, transport also called flow of an histogram loose the information of geometric flow to warp one image on to an other. This paper proposes a new construction of EMD between images. This construction approximates the EMD between two images, by computing a pixel-wise transport at the complexity cost of computing an EMD between 1-D Histograms and preserves the geometrical and topological structure of the image. This construction simply relies on a segmentation of the image (also called superpixelization of the image). Results on matching on images shows the stability of the method even when the superpixelizations are highly inconsistent across images

A statistical framework in variational methods of image and video processing problems with high dimensions

Cette thèse aborde le traitement d'images et de vidéos sous l'angle variationnel, c'est-à-dire sous forme d'une énergie dont le minimum est atteint pour la solution. La modélisation adoptée pour formaliser le problème et obtenir ces énergies peut être déterministe ou stochastique. Il est connu que la première approche est équivalente à la classe paramétrique de la seconde. Ce constat nous a amené à faire le choix de la seconde approche a priori plus générale si l'on se débarrasse de l'hypothèse paramétrique. En contrepartie, il s'agit d'être capable d'exprimer et d'estimer une énergie en fonction des données alors interprétées comme des échantillons d'une variable aléatoire. Ce premier obstacle est classiquement surmonté par l'emploi de méthodes à noyau fixe sur des lois marginales, autrement dit, en supposant les canaux de données indépendants entre eux. Or cet obstacle en cache deux autres : l'inhomogénéité de la répartition des échantillons dans leur espace d'appartenance et leur faible densité dans cet espace. Ces difficultés, ainsi que l'hypothèse d'indépendance mentionnée plus haut, sont d'autant plus pénalisantes que le modèle proposé pour les données est de grande dimension (canaux couleur, mais aussi ajouts d'autres canaux pour prendre en compte les structures locales des images). Au fondement d'estimateurs de mesures statistiques telle que l'entropie, l'idée du kième plus proche voisin permet de résoudre les difficultés évoquées en s'adaptant à la densité locale des données, en considérant les canaux conjointement, et ce quelle que soit leur nombre. Dans ce contexte, nous proposons une approche statistique générale inspirée de la théorie de l'information, dédiée aux approches variationnelles car estimant efficacement des énergies en haute dimension, permettant le calcul de leur dérivée et pouvant estimer localement des probabilités. Ce cadre est appliqué aux trois problèmes de traitement d'images ou de vidéos que sont l'estimation de flot optique, le suivi d'objets vidéos et la segmentation. Ce point de vue, en permettant de limiter sinon de s'affranchir du problème de la dimension des données, autorise la définition de nouvelles mesures et lois de probabilités plus adaptées aux images naturelles. Certains travaux en suivi d'objets et en segmentation ont conduit à des implémentations industrielles.This thesis addresses variational formulation of image and video processing problems. This formulation expresses the solution through a minimization of an energy. These energies can be defined as deterministic or stochastic. It is known that the first approach corresponds to the parametric class of the second one. The second class is then chosen as it is more general when relaxing parametric assumptions. In return, the energy must be expressed as a function of the data considered as random variables. These probabilities are classically estimated with fixed-sized kernels on marginal distributions of the data, assuming the different channels are independent. These methods have two limitations, the inhomogeneous and scarce repartition of the data in the space. These difficulties, as well as the independence assumption are enhanced when the data of the image are high dimensional (color channels, or other channels describing local patterns of natural images). At the foundation of the statistics, the k-th nearest neighbor method can solve these difficulties by locally adapting to the repartition of the data and treating the channels jointly. We propose a general statistical framework based on k-th nearest neighbors and information theory. This new framework is dedicated to variational problems as it efficiently estimates, high dimensional energies, derivates of these energies and local probabilities. This framework is applied to three problems of image and video processing: optical flow, object tracking and segmentation. This framework circumvents the problem of dimensionality and allows us to introduce new measures and probabilities more adapted to natural images. Some results obtained have been applied in an industrial context.NICE-BU Sciences (060882101) / SudocSudocFranceF

High dimensional statistical distance for region-of-interest tracking: Application to combining a soft geometric constraint with radiometry

soft geometric constraint with radiometr

A joint motion computation and segmentation algorithm for video coding

International audienc

A JOINT MOTION COMPUTATION AND SEGMENTATION ALGORITHM FOR VIDEO CODING

Motion compensation is an essential problem in video coding. The main drawback of the usual motion estimation methods is that they divide the images into blocks or patches which do not correspond to moving objects. In this paper, we propose a method to estimate the motion in regions instead of blocks. We define a cost functional to estimate simultaneously the segmentation and the motion of the regions. We introduce a joint motion estimation and segmentation algorithm based on the derivation of this cost functional. We show some encouraging results for video compression. 1